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摘 要 虚拟 现实 技术 通过 提供 视觉 、 听 觉 和 触觉 等 信息 为 用 户 创造 身 临 其 境 的 感知 体验 ， 

其 中 触觉 反馈 面临 诸多 技术 瓶颈 使 得 虚拟 现实 中 的 自然 交互 受 限 。 基 于 多 感官 错觉 的 伪 触 觉 
技术 可 以 借助 其 他 通道 的 信息 强化 和 丰富 触觉 感受 , 是 目前 虚拟 现实 环境 中 优化 触觉 体验 的 
有 效 途 径 。 本 文 聚焦 于 触觉 中 最 重要 的 维度 之 一 一 一 粗糙 度 ， 试 图 为 解决 虚拟 现实 中 触觉 反 
饥 的 受 限 问题 提供 新 思路 。 探 讨 了 粗糙 度 感知 中 ， 视 、 听 、 触 多 感觉 通道 整合 的 关系 ， 分 析 


了 视觉 线索 (表面 纹理 密度 、 表 面 光影 、 控 制 显示 比 ) 和 听觉 线索 (音调 /频率 、 响 度 ) 如 何 影 
响 触 觉 粗粮 度 感知 ， 总结 了 当下 调控 这 些 因素 来 改变 粗粮 度 感知 的 方法 。 最 后 ,探讨 了 使 用 


伪 触 觉 反 馈 技术 时 ， 虚拟 现实 环境 中 视 、 听 、 触 觉 信息 在 呈现 效果 、 感 知 整 合 等 方面 与 真实 
世界 相 比 可 能 存在 的 差异 ， 提 出 可 借鉴 的 改善 触觉 体验 的 适用 方法 和 未 来 待 研究 的 方向 。 
关键 词 ”粗糙 度 知 觉 ， 多 感觉 通道 整合 ， 视 觉 线索 ， 上 听觉 线索 

分 类 号 


Il 


1 5l 


近年 来 , 虚拟 现实 (Virtual Reality, VR) 技 术 发 展 迅速 , 它 通 过 头 戴 式 显示 器 (HeadMounted 


Displayed, HMDs) 等 设备 为 用 户 提供 视觉 、 听 觉 和 触觉 信息 ,展现 虚拟 现实 环境 (Virtual Reality 


Environment, VRE)(Lin et al., 2017)， 创 造 身 临 其 境 的 用 户 体验 (Ginther etal., 2019)。 然 而 ， 相 
较 于 市 场 上 各 种 虚拟 现实 的 视觉 和 听觉 显示 技术 及 产品 的 成 功 商业 化 ,触觉 信息 呈现 仍然 
临 着 巨大 的 挑战 (Kang & Lee, 2018)。 现 有 的 触觉 反馈 设备 可 分 为 接地 式 、 手 持 式 和 可 穿戴 式 
三 类 ， 这 些 设备 主要 有 以 下 一 些 问题 : 设备 不 够 轻巧 便携 或 不 易 操作 ; 设备 提供 触觉 感受 的 
通 真 度 和 人 类 触觉 感知 还 相差 其 远 ; 现 有 设备 无 法 同时 提供 多 种 不 同 的 触觉 感受 ; 硬件 设备 
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开发 、 制 造价 格 高 ， 难 度 大 (Bosman, 2018; Culbertson et al., 2018; Ujitoko et al., 2019a; Ujitoko 


etal., 2019b; Wang et al., 2019)。 因 此 ， 相 较 于 目前 虚拟 现实 环境 中 丰富 的 视听 信息 呈现 ， 良 
好 的 触觉 反馈 仍然 有 所 缺乏 (Bosman, 2018)。 

利用 多 感官 错觉 (Intersensory 川 usion) 来 弥补 虚拟 现实 环境 中 缺乏 的 触觉 反馈 ， 可 能 是 组 
解 上 述 问 题 的 途径 之 一 (Bosman, 2018)。 多 感官 错觉 是 一 种 通过 一 个 通道 的 刺激 来 影响 或 引 


发 另 一 个 通道 感知 的 跨 通道 错觉 现象 (Bizley et al., 2012)。 近 年 来 在 虚拟 现实 环境 中 广泛 引起 


人 们 关注 的 伪 触 觉 反馈 技术 (Pesudo-Haptic Feedback Techniques)(Aoyama et al., 2016; Bi et al., 


2018; Kawabe, 2019; Samad et al., 2019) 或 许 源 自 于 多 感官 错觉 这 一 理论 基础 。 伪 触觉 反馈 技 


术 由 Lécuyer 等 人 (2000) 提 出 ， 其 是 一 种 不 依赖 于 触觉 反馈 ， 而 通过 跨 感 觉 通道 (Crossmodal) 


言 息 来 呈现 触觉 感知 的 技术 (Kang & Lee,2018; Ujitoko et al., 2019b)。 在 电脑 界面 或 虚拟 现实 


环境 中 , 可 以 通过 伪 触 觉 反馈 技术 灵活 改变 虚拟 物体 的 视觉 显示 ,从 而 模拟 物体 的 重量 (Biet 


al., 2018; Hirao et al., 2020; Samad et al., 2019)、 硬 度 (Kawabe, 2019; Li et al., 2016; Matsmoto et 


al., 2016) 和 粗糙 度 (Ota et al., 2020; Sato et al., 2020; Ujitoko et al., 2019a) 等 触觉 感知 。 基 于 多 
感官 错觉 的 伪 触 觉 反 馈 技术 允许 用 户 更 自由 的 交互 , 并 且 规 避 了 如 设备 使 用 疲劳 , 硬件 时 间 


和 空间 分 辩 率 低 等 问题 (Hirao et al., 2020)。 该 技术 不 仅 能 有 效 帮 助 用 户 感知 虚拟 现实 环境 


最 
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(Hashimoto et al., 2018; Ramirez et al., 2018), 还 可 以 提升 现 阶段 虚拟 技术 的 沉浸 感 (Kang & Lee, 
2018; Samad et al., 2019)。 总 的 来 说 ， 基 于 多 感官 错觉 的 伪 触 觉 反馈 技术 可 能 是 当今 感知 错 
觉 在 界面 显示 技术 (Kawabe, 2019)、 虚 拟 信 息 显 示 技 术 中 最 成 功 的 应 用 之 一 。 

应 用 伪 触 觉 反 馈 技术 来 营造 良好 的 触觉 感受 , 依赖 于 操纵 非 触 觉 信息 创造 触觉 的 多 感 


错觉 。 视觉 、 听 觉 和 触觉 是 人 类 识别 和 感知 环境 的 主要 通道 , 但 在 虚拟 现实 环境 中 ， 则 更 依 
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制 , 触觉 信息 呈现 存在 诸多 局 限 性 ,而 视觉 和 听觉 信息 更 容易 在 虚拟 现实 环境 中 呈现 ， 另 一 
方面 , 许多 研究 已 经 证 明 ， 人 类 可 以 有 效 利用 视觉 信息 来 感知 材料 的 硬度 ,刚度 和 粗糙 度 等 
触觉 特性 ( 吴 箔 , 2019; Bi et al., 2018; Paulun et al., 2017; Schmidt et al., 2017)。 听 觉 和 触觉 在 感 
知 层面 上 非常 相似 (Bosman, 2018)， 因 为 触摸 物体 产生 的 振动 和 声音 信息 都 是 波 信号 ， 它 们 
享 频率 和 振幅 等 物理 特性 ， 这 使 得 它们 在 强度 、 频 率 /速度 和 粗糙 度 / 纹 理 等 属性 上 产生 映 
射 (Hoggan & Brewster, 2007)。 综 上 所 述 ， 在 虚拟 现实 环境 下 ， 通 过 操纵 视觉 和 听觉 信息 来 诱 
发 触觉 感知 是 非常 有 潜力 的 。 然 而 , 前 人 研究 并 未 明确 视觉 和 听觉 中 影响 触觉 感知 的 因素 是 
什么 , 因此 有 必要 探讨 和 明确 视听 线索 中 影响 触觉 感知 的 因素 ,并 通过 操纵 相关 的 视听 觉 因 
素 在 虚拟 现实 环境 中 营造 更 加 真实 和 丰富 的 触觉 体验 。 
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而 在 触觉 的 多 个 不 同感 受 维度 上 , 本 文 聚焦 于 粗糙 度 这 一 维度 , 主要 有 以 下 原因 : 首先 ， 
从 感知 层面 上 来 说 ， 在 触觉 感知 研究 领域 中 ， 有 大 量 研究 聚焦 于 对 纹理 粗糙 度 感 知 的 探究 
(Klatzky & Lederman, 2010)。 表 面 粗糙 度 的 感知 是 纹理 触觉 定义 中 的 一 个 重要 维度 ， 在 一 定 
条 件 下 , 粗糙 度 甚至 可 以 作为 触觉 感知 的 量度 (Okamoto et al., 2013; Ujitoko et al., 2019a; Wang 
et al, 2019)。 其 次 ， 食 品 、 家 具 、 织 物 、 汽 车 等 表面 的 粗糙 质感 会 直接 影响 消费 者 对 于 产品 
的 偏好 (Aktar et al., 2017)， 因 此 ， 用 户 对 产品 表面 纹理 的 感知 对 商业 成 功 至 关 重 要 。 最 后 ， 
聚焦 于 触觉 的 粗糙 度 这 一 维度 ,也 有 助 于 更 细致 的 探讨 视听 线索 如 何 影 响 粗 糙 度 感知 ， 明 确 
可 以 操纵 的 视听 因素 。 综 上 所 述 ， 本文 关注 虚拟 现实 环境 中 缺乏 良好 触觉 反馈 这 一 问题 ， 讨 
论 视觉 、 听 觉 同 触觉 在 粗糙 度 信息 整合 中 的 关系 ,并 详细 探讨 、 分 类 视觉 和 听觉 中 影响 粗糙 
感知 的 因素 。 


2 视觉 、 听 觉 和 触觉 的 粗糙 度 信 息 整合 


或 许 人 们 普遍 认 为 ,触觉 在 材料 表面 粗粮 度 的 感知 中 占据 了 绝对 优势 , 但 是 相关 研究 表 
r 明 ， 除 了 触觉 以 外 ， 视 觉 和 听觉 信息 也 在 粗 烽 度 感知 中 发 挥 了 作用 。 正 如 Weisenberger & 
Poling(2004) 所 说 : “人们 对 于 物体 表面 纹理 粗粮 度 的 感知 是 一 个 对 视觉、 听觉 和 触觉 信息 进 
行 整合 的 过 程 。” 既然 如 此 ， 人 类 在 粗 烽 度 的 感知 中 多 大 程度 的 利用 了 视觉 和 听觉 信息 呢 ? 
© Ernst & Banks(2002) 指 出 ， 在 视觉 和 俘 觉 信息 整合 的 过 程 中 ,噪音 更 少 ， 信 息 更 为 可 靠 的 
= 通道 将 占有 较 高 的 权重 。Ledrman(1981) 表 明 , 视觉 通道 能 频繁 的 获取 、 使 用 材料 表面 纹理 的 
《4 信息 ， 因 此 在 粗糙 度 感 知 方面 ， 视 觉 信 息 上 共有 很 高 的 可 靠 性 。Jones & O'Neil(1985) 发 现 ， 视 

觉 单 通道 条 件 下 的 粗糙 度 匹 配 准 确 性 不 进 于 触觉 单 通道 的 准确 性 ， 其 至 更 好 。 这 些 结果 均 说 

明 ,视觉 信息 可 能 因为 其 较 高 的 可 靠 性 而 在 粗粮 度 的 信息 整合 中 占据 不 小 权重 。 此 外 ， 模 态 


适当 性 假设 表明 ， 当 对 事物 特定 维度 的 感知 更 适合 通过 某 一 通道 完成 时 , 这 一 通道 会 在 感知 


判断 中 占据 最 大 权重 (Weisenberger & Poling, 2004)。Lederman 等 人 (1986) 指 出 ， 在 人 类 感受 
材料 的 粗糙 度 时 , 会 依据 任务 类 型 的 不 同 而 依赖 不 同 的 感觉 通道 : 当 被 试 的 任务 是 判断 表 
纹理 的 空间 密度 时 , 会 更 依赖 于 视觉 线索 ; 而 当 被 试 的 任务 是 判断 表面 的 粗糙 程度 时 ， 则 更 
依赖 于 触觉 线索 。 该 研究 结果 似乎 说 明 视 觉 通道 不 那么 适合 粗糙 度 感知 的 任务 , 但 Lederman 
等 人 (2003) 解 释 : 该 研究 结果 说 明 被 试 虽然 可 以 理解 “空间 密度 ”和 “粗糙 度 ” 的 差异 ， 但 
在 日 常生 活 中 感知 材料 表面 的 粗糙 度 时 ， 他 们 则 会 将 材料 表面 纹理 的 “空间 密度 ”这 一 视觉 


言 息 作为 粗糙 度 的 感知 线索 ， 这 表明 视觉 通道 也 适合 粗 糖度 感知 任务 。 


上 述 研究 虽然 说 明了 视觉 通道 在 粗糙 度 感知 层面 具有 较 高 的 可 靠 性 , 具备 执行 粗粮 度 感 
知 任务 的 能 力 ， 但 并 未 清晰 指出 视觉 在 多 通道 的 粗糙 度 知觉 中 占有 多 少 权 重 。Lederman & 
Abbott(1981) 的 研究 则 量化 分 析 了 视觉 在 多 通道 粗糙 度 知 觉 评 估 中 的 权重 。 在 他 的 实验 中 ， 
被 试 需要 在 视觉 , 触觉 单 通道 和 视 触 双 通道 条 件 下 对 材料 的 粗粮 度 进行 匹配 , 因此 可 以 得 到 
三 种 条 件 下 的 粗粮 度 估计 值 。 此 时 使 用 下 式 , 就 可 以 计算 出 视觉 和 触觉 信息 在 双 通 道 知觉 任 
务 中 所 占 的 权重 。 


Mean(T + V standard) — Mean(T standard) 


%visual influence = 
Mean(V standard) — Mean(T standard) 


Mean(V standard) — Mean(T + V standard) 


%tactual influen = 
Zotactu nenge Mean(V standard) — Mean(T standard) 


HE: 式 中 Mean(Modality standard) 指 的 是 在 一 个 标准 刺激 的 通道 下 ， 做 出 的 与 标准 刺激 匹配 
的 粗糙 度 的 均值 .实验 中 触觉 的 标准 刺激 是 60 目的 砂纸 ,视觉 的 标准 刺激 是 150 目的 砂纸 ， 


u 双 通道 的 标准 刺激 是 60 目的 砂纸 作为 触觉 体验 ， 而 150 目的 砂纸 作为 视觉 体验 。 例 如 ， 


O Mean(T standard) 即 为 被 试 使 用 60 目的 砂纸 作为 标准 刺激 时 ,从 40, 50, 60, 80, 100, 120, 
x 150, 180, 220 目 砂 纸 中 所 选择 来 匹配 标准 刺激 的 砂纸 粗糙 度 的 均值 。 值 得 注意 的 是 ， 双 通 


道 条 件 下 的 粗糙 度 知 觉 总 在 两 个 单 通 道 的 匹配 值 之 间 ， 因 此 在 笔者 看 来 Mean(V standard)- 


Mean(T standard) 即 为 双 通道 条 件 下 粗糙 度 评估 值 的 区 间 ， 而 式 中 分 子 部 分 则 表示 的 是 双 通 
道 条 件 下 粗糙 度 评 估 值 向 单 通道 偏 移 的 部 分 ， 即 单 通道 的 影响 力 。 


通过 上 述 方法 ，Lederman & Abbott(1981) 计 算出 在 
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触 双 通道 粗粮 度 感知 中 ， 视 觉 信息 的 平 
均 比 例 为 49.3%， 触 觉 信息 的 平均 比例 为 50.7%。 这 一 结果 同 前 人 推测 视觉 通道 在 粗糙 度 感 
知 任务 中 有 重要 影响 的 结论 相 吻 合 , 说 明 被 试 在 视 触 双 通 道 的 粗糙 度 信息 整合 过 程 中 , 倾向 
于 对 表面 纹理 相关 的 视觉 和 触觉 信息 进行 同等 的 加 权 。 

这 一 范式 也 被 用 来 研究 听觉 和 触觉 多 通道 粗糙 度 信息 整合 的 权重 问题 。 虽 然 在 早期 ， 人 
们 认为 听觉 信息 容易 被 环境 中 的 噪声 所 掩蔽 , 因此 在 听 触 双 通道 粗 糙 度 信息 整合 中 几乎 不 起 
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显著 的 作用 (Lederman, 1979). 但 Lederman 等 人 (1999) 和 Altinsoy(2008) 两 位 学 者 的 研究 表 
明 ， 一 旦 声音 的 响 度 提高 ， 被 试 就 可 以 有 效 的 将 听觉 信息 纳入 粗糙 度 感 知 中 ， 并 且 利 用 上 述 
范式 ， 计 算出 听觉 信息 在 听 触 双 通道 粗糙 度 感知 中 的 占 比 : Lederman 等 人 (1999) 的 实验 结果 


是 听觉 占 38%( 触 觉 占 62%)，Altinsoy(2008) 的 实验 结果 是 听觉 占 40%( 触 觉 占 60%)。 


总 的 来 说 , 视觉 和 听觉 信息 在 多 通道 的 粗糙 度 信息 整合 过 程 中 都 占有 不 小 的 权重 ,其 中 
视觉 信息 甚至 有 可 以 匹 及 触觉 信息 的 重要 作用 , 而 听觉 信息 在 有 效 被 人 类 获得 时 也 有 着 不 可 
忽视 的 作用 。 正 如 上 文中 提 到 的 , 视觉 信息 能 占据 如 此 权重 的 原因 可 能 是 因为 视觉 和 触觉 一 
样 ， 都 可 以 频繁 地 获得 和 使 用 关于 纹理 的 信息 ， 因 此 对 于 粗糙 度 感知 任务 来 说 ， 这 两 个 通道 
的 信息 都 具有 可 靠 性 (Ledrman, 1981)。 相 比 之 下 ， 听 觉 信 息 因为 其 容易 被 环境 噪声 掩蔽 的 特 
点 ， 不 如 触觉 通道 的 信息 可 靠 。 但 并 不 能 说 听觉 信息 在 多 通道 的 粗糙 度 信息 整合 中 就 毫 无 作 
用 。 前 人 的 研究 已 经 证 实 , 略微 增加 听觉 线索 的 响 度 就 可 以 大 大 提高 听觉 信息 在 多 通道 粗粮 
度 知觉 中 的 权重 (Altinsoy 2008; Lederman et al., 1999)。 视 觉 和 听觉 信息 对 于 粗糙 度 的 感知 都 
颇 为 重要 , 而 人 类 完 竟 利用 了 视觉 和 听觉 信息 中 哪些 线索 来 感知 材料 的 粗糙 程度 呢 ? 在 缺乏 
良好 触觉 反馈 的 虚拟 现实 环境 中 ,探讨 这 一 问题 有 助 于 更 好 的 利用 和 调控 视听 通道 中 影响 粗 
糙 度 感知 的 线索 ， 通 过 呈现 视听 通道 的 信息 ， 改 善人 类 对 于 材料 表面 粗糙 度 的 感知 。 


3 视觉 线索 和 粗糙 度 知 觉 


早期 的 一 些 研 究 表明 ， 被 试 可 以 仅 赁 视觉 线索 有 效 分 辨 不 同 粗 糙 程 度 的 表面 Jones & 
N O'Neil, 1985; Lederman & Abbott, 1981)。 至 今 为 止 ， 学 者 们 已 对 视觉 中 影响 粗糙 度 感知 的 因 
素 做 了 进一步 的 研究 。 本 章 把 这 些 因素 分 为 静态 线索 (表面 纹理 密度 、 表面 光影 ) 和 动态 线索 ， 
2 将 在 下 文中 详细 介绍 。 


4 3.1 静态 线索 


3.1.1 表面 纹理 密度 


现实 生活 中 的 表面 纹理 大 多 是 非 线 性 和 随机 特征 的 , 为 了 减少 分 析 的 困难 , 增加 对 条 件 
的 控制 , 大 多 早期 对 粗糙 度 感知 的 心理 物理 学 研究 都 集中 于 两 类 被 简化 的 粗糙 度 刺 激 : 凸 起 
圆 点 表面 (如 砂纸 等 ) 和 控 槽 表面 (如 留声机 的 蚀刻 板 等 (Altinsoy 2008)。 对 于 凸 起 圆 点 表面 而 
言 ， 圆 点 的 间距 和 半径 是 影响 粗糙 度 感 知 的 主要 因素 ( 吴 蒜 , 2019)。 研 究 者 通常 改变 圆 点 间距 
使 得 材料 表面 呈现 出 不 同 的 纹理 密度 。 随 着 圆 点 间距 减 小 ， 即 表面 密度 增加 ,被 试 也 越发 感 
知 材 料 表 面 粗糙 度 上 升 。 以 砂纸 为 实验 材料 的 粗糙 度 感知 研究 也 可 以 说 明 圆 点 颗粒 半径 和 颗 
粒 间 距 对 粗糙 度 感知 的 影响 :， 随 着 砂纸 颗粒 半径 增 大 ， 颗 粒 间 距 减 小 ， 被 试 在 视觉 单 通道 、 


触觉 单 通道 、 视 触 双 通 道 条 件 下 都 觉得 砂纸 变 得 更 为 粗糙 (Jones & O’Neil, 1985; Lederman & 


Abbott, 1981) 。 挖 槽 表面 这 类 材料 上 光栅 的 周期 和 振幅 是 影响 粗糙 度 感知 的 因素 (Wall & 
Harwin, 2001)。 随 着 光栅 周期 增 大 ， 视 觉 、 触 觉 和 视 触 双 通 道 条 件 下 的 粗糙 度 感知 差别 阔 限 
都 随 之 升 高 ， 随 着 光栅 振幅 增加 ， 上 述 三 个 条 件 的 粗糙 度 感知 差别 阀 限 则 随 之 降低 (Poling et 
al., 2003). 

总 的 来 说 , DEE ER 2 TE A R 8 DE, 还 是 挖 槽 表面 光栅 周期 的 变化 ， 
在 视觉 上 都 表现 为 纹理 密度 的 改变 。 当 圆 点 直径 增 大 ， 间 距 减 小 , 或 是 光栅 周期 减 小 ， 对 被 
试 来 说 都 表现 为 视觉 上 材料 表面 纹理 密度 的 增加 , 被 试 对 材料 粗糙 度 的 感知 也 随 之 升 高 。 视 
觉 信息 在 视 触 双 通 道 的 粗糙 度 感知 中 举足轻重 (Etzi et al., 2018; Jones & O'Neil 1985; Lederman 
& Abbott, 1981)， 因 此 前 人 研究 结果 的 得 出 ， 对 于 触觉 反馈 设备 的 设计 创新 将 大 有 神 益 。 


3.1.2 表面 光影 


在 视觉 层面 , 物体 表面 的 纹理 结构 是 日 常生 活 中 最 容易 关注 到 的 纹理 线索 , 但 将 物体 置 
于 外 界 坏 境 中 时 , 环境 中 的 光线 , 物体 表面 对 光线 的 镜面 反射 又 为 其 带 来 了 新 的 粗粮 度 感知 
线索 (Honson et al., 2020). Ho 等 人 (2006) 指 出 ， 当 物体 表面 入 射 光 的 角度 不 断 减 小 时 ， 物 体 
表面 将 产生 更 多 的 阴影 , 这 会 使 得 物体 显得 更 加 粗糙 。 照 明 方向 的 变化 会 产生 新 的 纹理 线索 
(Ho et al., 2007): 阴影 在 表面 的 比例 ， 非 阴影 部 分 的 平均 亮度 ， 非 阴影 部 分 亮度 的 标准 差 
> 纹理 对 比 (用 亮度 的 第 95 个 百 分 位 数 和 第 5 个 百 分 位 数 除 以 中 值 亮度 的 差 值 来 计算 , 是 表征 
os 不 同 光照 条 件 下 材料 特性 的 统计 量 )。 尽 管 这 些 线索 有 时 不 能 准确 表明 材料 的 粗糙 程度 ， 但 
£ 人 们 仍然 会 利用 这 些 “ 伪 视觉 线索 ”来 判断 表面 粗糙 度 (Ho etal., 2007)。 除 此 之 外 ， 人 们 也 
© 常 利 用 物体 表面 的 光泽 度 来 判断 其 粗糙 程度 因为 当 物体 表面 越 光滑 时 , 平行 光线 射 入 表面 ， 
反射 光线 趋 近 平行 ， 趋 近 镜面 反射 ， 光 泽 度 高 ， 而 当 物体 表面 越 粗糙 (凹凸 不 平 )， 平 行 光线 
射 入 表面 ， 反射 光线 射 向 各 个 方向 ,， 趋 近 于 漫 反射 ， 光 泽 度 低 。 目 前 研究 主要 聚焦 于 金属 材 
料 的 粗糙 度 判断 , 实验 发 现 , 金属 表面 光泽 度 越 低 , 人 们 觉得 其 越 粗糙 (Todd & Norman, 2018)。 
Adams 等 人 (2016) 通 过 控制 物体 的 镜面 反射 性 探究 了 物体 光泽 度 和 表面 粗糙 度 的 关系 ， 实 验 
表明 , 即使 在 视觉 上 被 试 很 容易 识别 出 光泽 度 的 增加 , 但 当 标准 刺激 和 一 个 实际 更 粗糙 但 是 
视觉 上 更 有 光泽 度 的 刺激 物 做 比较 时 ， 被 试 则 难以 凭借 视觉 和 触觉 信息 分 辩 哪 个 更 粗糙 。 至 
F 其 他 材料 ， 光 泽 度 也 会 影响 被 试 对 材料 表面 粗 燃 度 的 判断 ， 甚 至 因为 光泽 度 的 相似 ,将 粗 
糖度 完全 不 同 的 材料 混淆 (Vardar et al., 2019)。 表 面 光 影 这 一 视觉 的 粗糙 度 线索 ， 从 环境 光照 
以 及 材料 的 反光 特性 这 两 个 角度 , 丰富 了 虚拟 现实 环境 中 静态 物体 粗糙 度 的 表现 形式 。 虚拟 


现实 环境 中 光源 设置 灵活 ， 定 向 光源 、 点 光源 等 光照 下 ， 物 体 表面 粗粮 度 将 有 不 同 表现 。 而 
如 何 将 环境 光源 和 物体 光泽 度 泻 染 结合 起 来 更 好 的 展现 材料 粗糙 度 ， 还 需 在 未 来 继续 探究 。 
此 外 , 在 虚拟 现实 环境 中 增加 材料 表面 光泽 度 以 减 小 其 粗糙 程度 时 , 还 应 注意 保留 材料 原本 
的 特性 。 


3.2 动态 线索 


表面 纹理 结构 和 表面 光影 都 属于 静态 的 视觉 线索 , 而 在 虚拟 现实 环境 中 , 还 可 以 给 物体 
添加 动态 视觉 线索 以 改变 人 类 对 其 粗糙 度 的 感知 ,操纵 控制 显示 比 (Control Display Rate, CDR) 

就 是 最 常用 的 方式 之 一 。CDR 是 人 机 交互 (Computer Human Interaction, CHI) 领 域 中 一 个 著名 
en 的 无 单位 参数 (Lécuyer et al., 2000), 它 将 定点 设备 的 移动 映射 到 显示 嚣 上 指针 的 移动 。 当 CDR 

比 为 1.0 时 , 指针 的 移动 速度 与 控制 装置 完全 相同 。 当 CDR LEAT 1.0 时 , 与 控制 装置 相 比 ， 
肯 针 以 更 快 的 速度 移动 更 远 。 当 COR 比 小 于 1.0 时 ,指针 移动 较 慢 , 覆盖 的 距离 小 于 控制 设 
备 (Hashimoto et al., 2018). Lécuyer 等 人 (2000) 的 实验 就 通过 设置 CDR 值 在 屏幕 中 创建 了 一 
块 灰 色 区 域 , 当 被 试 通过 移动 光标 控制 屏幕 中 虚拟 方块 移动 到 至 灰色 区 域 时 , 物 块 会 表现 出 
明显 的 运动 速度 减 组， 被 试 则 会 显著 感受 到 这 块 灰色 区 域 的 摩擦 阻力 更 大 。Hannig & 
Deml(2008) 的 实验 也 控制 了 CDR 探究 在 虚拟 现实 环境 中 视觉 动 效 和 粗糙 度 感知 的 关系 。 在 虚 
拟 现实 环境 中 ， 人 手 运 动 和 显示 器 中 虚拟 手 的 运动 比率 通常 是 相等 的 ( 即 CDR=1)， 而 在 这 个 
实验 中 ， 触 摸 作为 比较 刺激 的 虚拟 物 块 时 会 触发 相应 的 CDR 变化 ， 表 现 为 虚拟 手 运动 的 更 
快 或 更 慢 ; 触摸 标准 刺激 时 ， 虚 拟 手 运动 速度 不 变 (CDR=1)。 研 究 结果 表明 ，CDR 的 变化 显著 
O 影响 了 被 试 对 虚拟 物体 表面 粗糙 度 的 判断 ， 在 虚拟 现实 环境 中 ， CDR>1( 虚 拟 手 减速 ) 代 表 粗 
糙 的 表面 ， CDR<1( 虚 拟 手 加 速 ) 则 代表 光滑 的 表面 。Sato 等 人 (2020) 通 过 设置 CDR 操纵 虚拟 
手 触摸 物体 时 的 运动 速度 , 在 混合 现实 环境 中 进行 了 类 似 的 实验 。 研究 结果 表明 当 手 部 运动 

更 快 时 ， 被 试 对 物体 会 有 更 光滑 的 感知 ， 而 手 部 运动 速度 慢 时 则 会 感觉 物体 更 为 粗糙 。 

除了 通过 设置 CDR 值 来 控制 指针 (光标 或 是 虚拟 手 ) 运 动 的 速度 , 还 有 一 些 学 者 赋予 指针 
以 特殊 的 运动 方式 来 表现 虚拟 物体 的 粗糙 度 。 在 Ujitoko 等 人 (2019a) 的 一 项 研究 中 ， 当 被 试 
手写 笔 在 设备 表面 滑动 时 ， 他 们 会 看 到 指针 略微 卡 顿 ， 似 乎 被 务 住 了 一 样 ， 表 现 的 比 真实 
笔尖 移动 滞后 , 而 这 样 的 一 种 方式 也 显著 让 被 试 感受 到 了 虚拟 界面 的 粗糙 质感 .此 外 , Ujitoko 
等 人 (2019b) 还 使 得 指针 颤动 给 被 试 带 来 虚拟 表面 的 粗糙 感 。 在 他 的 实验 中 , 被 试 通过 电子 笔 
在 屏幕 上 写字 ， 当 光标 在 书写 同时 表现 出 振动 ,被 试 会 认为 虚拟 表面 更 加 粗糙 。 且 随 着 视 入 


2 


mane OTAI 


上 这 种 振动 的 增 大 ， 被 试 对 虚拟 表面 粗糙 度 的 感知 也 增强 。ota 等 人 (2020) 还 将 这 种 振动 的 


方式 扩展 到 了 手指 与 虚拟 表面 的 交互 : 
动 ,同时 评估 材料 的 粗糙 度 。 结 果 表 明 
粗粮 度 感知 。 


被 试用 手指 触摸 实验 材料 , 观察 到 界面 上 指针 不 断 振 
视觉 线索 的 振动 可 以 显著 改变 被 试 对 真实 纹理 表面 的 


总 的 来 说 ， 不 论 是 设置 CDR 值 以 控制 指针 的 相对 运动 速度 ， 还 是 赋予 指针 特殊 的 运动 


规律 来 表现 虚拟 物体 的 粗糙 度 , 都 是 将 自然 界 中 一 个 物体 和 另 一 个 粗糙 物体 交互 时 发 生 的 运 


动 规律 在 虚拟 现实 环境 中 表现 出 来 的 方法 。 在 自然 界 中 , 粗糙 的 地 面 往往 会 有 更 大 的 摩擦 阻 
力 ， 如 果 没 有 额外 的 动力 , 在 这 样 的 地 面 上 运动 物体 的 速度 显然 会 越 来 越 慢 。 前 人 研究 中 指 


针 的 低速 和 粘连 的 运动 规律 便 是 利用 


了 这 一 点 (LEcuyer et al., 2000; Hannig & Deml, 2008; 


Ujitoko et al., 2019a)， 而 Ujitoko 等 人 (2019a) 和 Ota 等 人 (2020) 的 研究 将 指针 在 视觉 上 的 振动 


和 粗粮 度 感 知 联 系 了 起 来 ,这 令 人 眼前 一 亮 。 虽然 这 也 是 自然 物理 规律 的 一 部 分 , 但 他 们 超 
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出 了 对 视觉 线索 运动 速度 的 控制 , 而 是 改变 了 视觉 线索 的 运动 规律 。 应 用 这 种 将 真实 的 物理 
规律 巧妙 的 嵌入 虚拟 世界 的 方法 ,或许 能 给 予 虚 拟 现实 环境 的 探索 者 更 真实 和 丰富 的 感官 体 


4 听觉 线索 和 粗糙 度 知 党 


Lederman(1979) 一 项 关于 听觉 和 触觉 线索 对 表面 粗糙 度 感知 的 研究 发 现 , 听 触 双 通 道 条 
件 下 的 粗糙 度 函 数 评估 曲线 几乎 与 触觉 单 通道 的 结果 重合 , 并 且 和 听觉 单 通道 的 结果 差异 显 
著 ， 这 说 明 一 旦 被 试 能 够 获得 触觉 线索 ,他 们 会 依赖 于 触觉 线索 来 感知 材料 表面 ， 而 几乎 不 


使 用 听觉 线索 来 判断 表面 的 粗糙 度 。S 


uzuki 等 人 (2006) 的 研究 也 得 到 了 相似 的 结果 。 


然而 听觉 线索 对 于 粗糙 度 的 感知 并 非 没 有 影响 ， 正 如 Klatzky & Lederman(2010) 所 指出 ， 


伴随 着 触觉 的 听觉 线索 对 知觉 起 到 了 


ia) 


要 的 贡献 。 大 量 前 人 研究 表明 , 只 要 能 够 有 效 获得 听 


觉 线 索 ( 即 听觉 线索 不 被 环境 噪声 掩蔽 )， 人 类 对 于 粗糙 度 的 感知 就 会 受到 听觉 线索 的 影响 


(Etzi et al., 2018; Guest et al., 2002; Kim et al., 2007; Lederman, 1979; Jousmaki & Hari, 1998). 而 


在 听觉 线索 中 ， 响 度 和 音调 /频率 是 影响 粗糙 度 知 觉 多 通道 信息 整合 的 主要 因素 。 例 如 


Altinsoy(2008) 的 研究 发 现 了 听觉 线索 响 度 对 于 粗糙 度 感 知 的 影响 。 他 将 实验 的 声音 响 度 提高 


了 10 分 贝 ， 用 绝对 估计 法 探究 被 试 在 


觉 。 比 起 上 文中 Lederman(1979) 研 究 结 


三 种 通道 (听觉 、 触 觉 、 听 觉 + 触 觉 ) 条 件 下 的 粗糙 度 知 
果 中 触觉 单 通道 和 听 触 双 通 道 粗 糙 度 评估 函数 曲线 几 


乎 完全 重合 的 情况 ，Altinsoy(2008) 得 到 了 触觉 单 通道 和 听 触 双 通 道 差异 显著 的 结果 ， 这 说 明 


增加 声音 的 响 度 ， 可 以 增加 听觉 在 听 触 整合 的 粗糙 度 判断 中 的 权重 。 Peeva 等 人 (2004) 的 一 
项 相关 性 研究 表明 ,被 试 将 不 同 的 纹理 和 声音 进行 匹配 时 ,更 容易 将 响 度 更 大 的 声音 和 更 粗 
糙 的 表面 匹配 在 一 起 ， 同 时 他 还 发 现 ， 音 调和 粗 烽 度 也 有 着 强 相关 性 。Altinsoy(2004) 的 实验 
也 证 实 了 音调 和 粗糙 度 的 关联 : 被 试 能 够 准确 的 将 相同 频率 的 振动 和 声音 线索 匹配 起 来 。 由 
此 不 难得 出 , 听觉 线索 中 的 响 度 和 频率 的 变化 是 引发 粗 烽 度 知觉 变化 的 重要 因素 。 下 文 将 对 


这 两 个 因素 分 别 做 详细 讨论 。 


ta 


4.1 响 度 


较 小 的 摩擦 声 容易 被 环境 噪声 所 掩蔽 , 因此 人 类 难以 有 效 利 用 声音 线索 来 判断 物体 的 表 
cp 面 纹理 等 属性 (Lederman et al., 1999)。Lederman(1979) 研 究 了 在 三 种 通道 (听觉 单 通道 ， 触 觉 
单 通道 ， 听 触 双 通道 ) 条 件 下 被 试 对 于 铝板 表面 的 粗糙 度 感 知 ， 其 中 听觉 线索 在 实验 人 员 录 
制 好 后 向 被 试播 放 。 当 被 试 使 用 更 大 的 力度 摩擦 铝板 时 ， 会 知觉 到 更 大 的 粗糙 度 。 显 然 在 触 
觉 单 通道 条 件 下 ， 更 大 的 摩擦 力 会 带 来 更 大 的 粗糙 感 (Lederman & Taylor, 1972)， 而 在 听觉 单 
= 通道 条 件 下 , 则 是 因为 大 力度 摩擦 提高 了 录制 声音 的 响 度 , 才 使 得 粗糙 度 的 评估 值 显著 上 升 。 
性 探 针 探究 粗糙 度 知觉 的 研究 中 也 得 到 了 类 似 的 结果 。 他 认为 这 
是 由 于 摩擦 主体 从 手 变 成 刚性 探 针 以 后 , 声音 的 响 度 变 大 了 , 才 使 得 被 试 感觉 材料 表面 变 得 
更 加 粗粮 。 
除了 直接 增加 全 频 声音 的 响 度 可 以 使 得 被 试 感觉 材料 变 得 更 加 粗糙 , 声音 中 特定 频率 成 
= 分 的 调制 也 能 对 粗糙 度 感知 产生 影响 。Jousmaki & Hari(1998) 将 被 试 双手 摩擦 声音 的 响 度 进 
© 行 调制 (2kHz 以 上 的 高 频 成 分 或 是 全 频率 响 度 调制 ), 在 被 试 进行 实验 摩擦 双手 时 播放 这 种 调 
制 后 的 声音 。 全 频率 段 和 高 频段 的 响 度 增加 , 被 斌 都 产生 了 双手 变 得 更 加 粗糙 和 干燥 的 错觉 
体验 ， 而 响 度 减 小 ， 被 试 则 知觉 手 部 变 得 光滑 和 湿润 ， 这 种 错觉 被 称 为 纸 皮 错觉 。Guest 等 
人 (2002) 同 样 将 响 度 调制 锁定 在 了 声音 的 2kHz 以 上 的 高 频段 部 分 进行 了 相关 探究 ， 他 检测 
了 被 试 通过 触觉 线索 和 调制 过 的 声音 线索 做 粗糙 度 匹 配 任务 的 反应 时 间 和 错误 率 , 结果 表明 
被 试 更 倾向 于 将 响 度 更 大 的 声音 和 更 粗糙 的 表面 匹配 起 来 。Zampini 等 人 (2003) 在 一 项 关于 
产品 体验 的 研究 中 也 对 声音 高 频 成 分 的 调制 进行 了 探索 , 这 项 研究 调查 了 电动 牙刷 粗糙 度 和 
愉悦 度 感知 是 否 会 受到 它 所 发 出 声音 的 影响 。 结 果 表 明 , 不 论 是 整体 响 度 或 是 高 频 音响 度 增 
加 ,被 试 都 认为 牙刷 更 加 粗糙 并 带 来 不 适 感 。 此 外 ，Suzuki 等 人 (2006) 和 Kim 等 人 (2007) 还 对 


声音 的 中 低频 成 分 进行 响 度 调 制 的 实验 (前 者 是 对 25Hz 至 6.3kHz, 后 者 是 对 300 至 600Hz 频 
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段 的 调制 )， 结 果 同 样 表明 声 音 的 响 度 调制 对 粗糙 度 知 觉 造 成 了 影响 。 

虽然 听觉 线索 的 响 度 提高 确实 会 带 来 更 粗糙 的 知觉 体验 , 声音 中 特定 的 频率 成 分 也 与 粗 
糙 度 知觉 有 关 , 特别 是 高 频 成 分 的 响 度 调制 已 被 众多 学 者 证 实 会 影响 粗糙 度 的 评估 , 但 是 对 
于 频率 成 分 与 粗糙 度 知 觉 的 研究 较 少 , 频段 啊 度 和 粗糙 度 知 觉 的 关系 尚未 有 明确 定论 , 因此 
仍 需 要 对 这 些 频率 成 分 和 粗粮 度 知 觉 的 关系 做 进一步 的 探究 。 


4.2 音调 /频率 


除了 响 度 这 一 特性 以 外 ， 音 调 也 被 发 现 和 粗糙 度 知觉 有 强 相关 性 (Peeva et al., 2004)。 


Eitan & Rothschild(2011) 探 究 了 A4，A5，A6( 分 别 对 应 220Hz，440Hz，880Hz) 三 阶 音调 和 粗粮 
度 的 关系 。 实 验 中 被 试 仅 获得 听觉 线索 ， 并 评估 听觉 线索 的 粗糙 程度 。 结 果 表 明 ， 更 高 的 音 
调 意 味 着 更 粗糙 的 知觉 体验 , 更 低 的 音调 则 会 使 人 感觉 到 更 光滑 。 音 调 主 要 是 由 声波 频率 决 
定 的 听觉 特性 ， 声波 的 频率 不 同 ， 人 类 听 到 的 音调 高 低 也 不 同 。 前 人 们 对 音调 和 粗糙 度 关系 
的 研究 相对 较 少 ， 有 些 学 者 直接 调制 声音 的 频率 来 探究 这 一 特性 和 粗糙 度 的 关系 。 
Altinsoy(2008) 用 调制 频率 的 声音 做 了 粗糙 度 评估 实验 , 发 现 了 趋势 相反 的 结果 。Altinsoy(2008) 
将 手指 滑动 挖 槽 板材 的 模 与 兰 摩 擦 产生 的 振动 频率 定义 为 手 部 运动 速度 和 板材 物理 属性 的 
函数 : 


f=vr/L 

TE: 式 中 f 是 振动 的 频率 ，v 是 手 部 运动 速度 ，r EMM AAR, LEAKE. 
通过 计算 机 模拟 出 各 种 不 同 频率 (56 至 112Hz) 的 声波 作为 听觉 刺激 ， 探 究 频 率 和 粗糙 度 知 觉 
的 关系 。 实 验 发 现 即 使 触觉 材料 不 变 , 当 声音 的 频率 变 高 时 , 被 试 知觉 到 的 粗糙 度 显 著 降 低 ， 
反之 则 显著 增高 。 

Egmond 等 人 (2009) 的 研究 则 给 频率 和 粗糙 度 知觉 的 关系 提供 了 另 一 种 可 能 : 实验 比较 
了 10Hz，50Hz，70Hz，200Hz，350Hz 五 种 声音 对 应 的 粗糙 度 知觉 ， 发 现 五 种 音频 对 应 的 粗 
糙 度 知觉 和 调制 频率 呈 近 似 倒 U 型 的 曲线 ， 并 且 在 70Hz 时 粗糙 度 评估 值 达 到 峰值 。 这 个 现 
象 说 明 频 率 和 粗糙 度 知 觉 是 非 线性 的 关系 ( 据 此 推测 音调 也 是 如 此 ): 当选 择 频率 与 粗糙 度 感 
受 函 数 的 不 同 单调 区 间 ， 将 会 得 到 相反 的 关系 变化 趋势 。 而 单调 区 间 有 具体 如 何 分 区 ， 由 于 
Egmond 等 人 (2009) 在 70Hz 与 200Hz 之 间 没 有 采集 频率 样本 ， 实 验 条 件 中 70Hz 之 后 是 否 粗 
糙 度 知觉 仍然 会 随 着 频率 升 高 而 增 大 不 得 而 知 。 且 由 于 粗糙 度 知 觉 并 非 受到 频率 单个 因素 的 
影响 ,不同 实验 条 件 下 ， 如 响 度 不 同 的 声音 ， 是 否 会 出 现 频 率 和 粗糙 度 知觉 峰值 的 变化 ， 也 
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仍然 需要 进一步 的 实证 探索 。 

此 外 ,对 音调 或 是 频率 进行 调制 还 存在 一 些 应 该 注意 的 问题 。 首 先 ， 频 率 是 描述 听觉 信 
号 波 周期 运动 频繁 度 的 物理 量 , 它 和 触觉 振动 存在 的 强大 映射 关系 是 科研 工作 中 对 其 调制 的 
原因 所 在 (Bosman, 2018)， 但 目前 对 于 频率 调制 的 声音 多 为 计算 机 合成 音 (Altinsoy, 2008; 
Bosman, 2018; Egmond, 2009)， 缺 乏 自 然 声 源 的 生态 性 。 其 次 ， 在 不 同 的 频率 下 ， 人 对 不 同 
声 强 的 敏感 性 存在 差异 .前 人 对 于 等 响 曲 线 的 研究 很 好 的 说 明了 声 强 和 频率 这 两 个 物理 量 都 
是 心理 量 响 度 的 影响 因素 ， 因 此 , 在 解释 粗糙 度 知觉 中 听觉 影响 因素 时 ， 应 该 注意 更 好 地 区 
分 这 几 个 概念 。 最 后 ， 白 噪声 和 听觉 适应 会 提高 触觉 对 粗糙 度 感 知 的 差别 阀 限 ， 降 低 触 觉 对 
粗糙 度 和 振动 的 感受 性 (Crommett et al., 2017; Suzuki et al., 2008)， 因 此 在 分 析 听 触觉 双 通 道 


条 件 的 实验 结果 时 ， 应 考虑 到 环境 噪声 的 影响 。 


5 总 结 和 展望 


本 文 以 粗糙 度 知 觉 为 切入 点 ,关注 在 虚拟 触觉 设备 存在 诸多 局 限 性 的 当下 , 如 何 通过 视 、 
听 感 觉 通道 信息 来 辅助 提升 虚拟 现实 中 的 触觉 体验 。 首先 从 感知 觉 信息 加 工 的 角度 分 析 粗 糙 
度 知觉 的 形成 , 论证 得 出 在 粗糙 度 知觉 的 多 感觉 通道 整合 中 视觉 和 听觉 信息 的 重要 性 。 继 而 
进一步 探讨 和 分 类 了 视觉 和 听觉 中 会 影响 粗糙 度 感知 的 因素 , 并 总 结 了 当下 对 这 些 因素 的 操 
纵 方法 ， 以 期 在 缺乏 民 好 触觉 反馈 的 虚拟 现实 环境 中 ,利用 视觉 和 听觉 信息 ,改善 人 们 对 于 
材料 表面 粗粮 度 的 感知 。 在 探索 和 实践 中 ， 仍 有 一 些 问 题 值得 进一步 讨论 。 

首先 , 在 虚拟 现实 环境 中 呈现 多 感觉 通道 信息 的 前 提 是 单 通道 信息 的 呈现 。 因此 ， 有 必 
Q 要 分 别 探 明 视觉 、 听 觉 和 触觉 通道 信息 在 虚拟 现实 环境 和 现实 环境 的 呈现 存在 什么 差异 。 

视觉 信息 作为 目前 虚拟 现实 环境 中 最 主要 的 信息 来 源 , 其 与 现实 环境 最 大 的 差异 主要 源 
于 虚拟 视觉 的 演 染 质量 的 高 低 。 虚 拟 现实 环境 中 的 视觉 泻 染 主要 包括 阴影 柔和 度 (阴影 边缘 
的 锐 度 )、 表 面 平滑 度 、 纹 理 质 量 、 几 何 形 状 、 光 照 和 颜色 等 因素 (Kapralos etal., 2017)。 兼 顾 
上 述 演 染 效 果 ， 虽然 可 以 为 用 户 带 来 最 好 的 虚拟 视觉 体验 , 但 是 会 增加 泻 染 成 本 ,增加 虚拟 
设备 的 运载 负荷 。 而 劣质 的 视觉 泻 染 则 会 影响 用 户 对 虚拟 现实 环境 的 感知 (Malpica et al., 
2020)。 更 为 高 效 且 节约 成 本 的 方法 应 是 先 确定 任务 场景 ， 再 于 虚拟 现实 环境 中 找到 满足 用 
户 对 其 认 知 需求 的 最 小 泻 染 参数 。 

在 听觉 层面 ， 虚 拟 现实 环境 中 音频 的 实时 性 是 弱 于 现实 环境 的 。 人 类 与 环境 交互 (在 此 
专门 指 触觉 交互 ) 发 出 声音 , 交互 方式 、 力度 和 速度 的 变化 都 会 引发 声音 的 改变 。 Aa, 
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和 摩擦 的 声音 显然 不 同 ， 力 度 影响 音频 响 度 ， 速 度 影响 音频 频率 (Lederman，1979)。 在 现实 
环境 中 ， 依 据 交 互 属性 的 不 同 ， 人 类 可 以 即时 获得 不 同 的 听觉 信息 。 但 在 虚拟 现实 环境 中 ， 
想 要 依照 人 类 的 交互 变化 即时 呈现 不 同 的 听觉 信息 是 有 困难 的 , 极 易 出 现 交互 属性 和 听觉 信 
不 匹配 的 现象 。 这 种 不 匹配 不 仅 破 坏人 类 在 虚拟 现实 环境 中 的 沉浸 感 , 也 有 可 能 影响 人 类 
对 于 交互 材料 的 感知 。 然 而 交互 属性 和 听觉 信息 的 完全 匹配 成 本 过 高 , 且 依赖 定位 识别 技术 
的 高 度 发 展 。 因 此, 将 不 匹配 的 差 值 控 制 在 人 类 的 感知 闵 值 之 下 或 许 是 个 好 的 解决 办 法 。 在 
未 来 的 科研 探究 中 , 探 明 交互 属性 同 听觉 信息 跨 模 态 匹配 的 差别 阔 限 , 亦 能 为 今后 物理 技术 
的 发 展 提供 人 因 学 的 依据 。 
目前 , 虚拟 现实 环境 中 的 触觉 设备 只 能 提供 较为 单一 且 精 度 低 的 触觉 感受 。 现在 的 技术 
只 能 同时 为 用 户 提供 一 至 两 种 维度 的 触觉 感受 ， 而 现实 环境 中 人 类 则 可 以 同时 获得 粗糙 度 、 
温度 、 硬 度 等 多 维度 触觉 体验 。 虽 然 前 人 已 经 广泛 测量 了 单一 触觉 维度 的 绝对 和 差别 阔 限 ， 
但 当 多 维度 的 触觉 信息 同时 呈现 时 , 绝对 和 差别 阀 限 将 会 产生 的 变化 还 有 待 探 究 (Wang et all, 
2019)。 此 外 ， 即 使 在 某 一 限定 的 触觉 维度 内 ， 物 理 设备 的 反馈 精度 也 远 不 及 人 类 触觉 感受 
器 的 精度 因此, 在 未 来 触觉 设备 研发 过 程 中 , 不 仅 要 攻克 多 维度 触觉 信息 呈现 的 技术 难题 

还 要 使 得 触觉 设备 提供 信息 的 精确 度 更 接近 人 类 触觉 感知 的 精确 度 (Culbertson et al., 2018; 
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Wang et al., 2019). 

其 次 ， 在 虚拟 现实 环境 中 ， 单 通道 的 感觉 信息 呈现 存在 不 同 程度 的 偏差 ， 一 方面 ， 发 展 
先进 的 技术 可 以 演 染 和 呈现 更 逼真 的 感觉 信息 ; 另 一 方面 ， 可 否 利用 知觉 加 工 规律 ， 有 侧重 
地 、 适 时 地 提供 和 当下 感知 场景 或 任务 更 适 配 的 感觉 刺激 信息 呢 ? 例如 : 人 类 在 空间 分 辨 任 
FE 务 中 更 依赖 视觉 信息 , 在 时 间 分 辨 任务 中 更 依赖 听觉 信息 , 在 精细 操作 的 交互 任务 中 更 依赖 

触觉 信息 。 因 此 ， 站 在 应 用 实用 性 的 角度 来 说 ， 在 不 同 的 任务 需求 里 提供 足够 的 、 适 用 的 信 
息 ， 使 被 试 的 操作 绩效 达标 且 获 得 较 好 的 用 户 体验 才 是 关键 。 正 如 Malpica 等 人 (2020) 在 虚 
拟 现实 环境 中 材料 辨别 实验 的 结果 : 即使 弱化 视觉 泻 染 效果 , 被 试 依然 能 凭借 听觉 线索 有 效 
感知 和 辨别 不 同 质地 的 实验 材料 。 因此 , 若 虚 拟 现实 环境 中 的 触觉 设备 不 足以 提供 可 辨别 的 
粗糙 质感 ， 将 听觉 信息 或 视觉 信息 辅助 触觉 信息 来 提供 更 好 的 粗糙 质感 也 是 值得 探究 的 方 
向 。 


第 三 ， 还 应 该 考虑 : 虚拟 现实 环境 中 单 通道 的 视 、 听 、 触 觉 信息 和 现实 环境 中 存在 的 差 
异 , 很 可 能 导致 不 同 通道 间 信息 的 不 匹配 。 那 么 将 如 何 整合 原本 存在 差异 、 并 且 彼 此 间 不 尽 
匹配 的 多 通道 感觉 信息 呢 ?” 这 一 过 程 势必 进一步 加 剧 虚拟 和 现实 感知 觉 信息 加 工 的 不 同 , 带 
来 新 的 问题 。Ernst & Banks(2002) 认 为 在 多 通道 信息 整合 的 过 程 中 ， 信 息 更 为 可 靠 的 通道 将 


占据 更 多 的 权重 。 而 本 文 在 上 述 讨论 中 已 经 确定 , 虚拟 现实 环境 下 各 个 感觉 通道 的 信息 均 和 
现实 中 原本 感觉 通道 的 信息 存在 差异 : 纹理 质量 的 弱化 ， 听觉 信息 和 交互 行为 的 不 匹配 ， 触 
觉 感受 的 单一 。 这 些 差异 使 得 各 通道 信息 都 不 那么 “可 靠 ”， 那 人 类 在 虚拟 现实 环境 中 会 更 
依赖 哪个 通道 呢 ? 虚拟 现实 环境 中 的 多 通道 信息 整合 的 权重 分 配 , 究竟 和 现实 环境 中 的 这 一 
过 程 有 多 大 差别 ?对 于 这 类 问题 的 探究 , 不 仅 有 助 于 理解 虚拟 信息 和 现实 环境 在 感知 上 的 差 
异 ， 还 将 有 助 于 定向 优化 人 类 在 虚拟 现实 环境 中 失真 的 那 部 分 感觉 信息 。 

最 后 ， 总 览 前 人 所 做 的 工作 ， 这 些 研究 大 多 从 视觉 、 听 觉 、 触 觉 单 通道 ， 或 是 双 通 道 的 
角度 探究 了 相关 感觉 信息 对 人 类 感知 粗糙 度 的 可 用 性 。 然 而, 在 视听 触 三 个 通道 如 何 协同 工 
作 ， 如 何 为 整体 感知 做 出 不 同 贡献 等 问题 上 ， 几 乎 还 没有 这 方面 的 研究 (Collins & Kapralos, 
2019)。 但 正如 我 们 所 强调 的 ， 人 类 对 于 粗糙 度 的 感知 是 一 个 多 通道 信息 整合 的 过 程 ， 并 且 
为 人 类 呈现 多 通道 的 信息 有 诸多 益处 。 在 现实 环境 中 , 多 通道 输入 为 人 类 提供 的 元 余 信 息 有 
BEL BRR A f (Marucci et al., 2021)， 提 高 任务 绩效 (Hecht et al., 2008); 在 虚拟 现实 环境 


中 ， 相 较 于 单 通 道 信息 ， 多 通道 的 信息 反馈 不 仅 使 被 试 绩效 最 好 ， 还 能 提供 给 被 试 更 强烈 的 


H 


上 


存在 感 和 沉浸 感 (Bosman，2018; Cooper et al., 2018; Marucci et al., 2021)。 因 此 ， 在 虚拟 现实 
环境 中 的 材料 感知 任务 中 ， 相 较 于 只 呈现 单 通道 或 二 通道 的 信息 ， 呈 现 三 通道 信息 (视觉 、 
听觉 、 触 觉 ) 是 否 能 有 效 提高 被 试 对 材料 的 识别 绩效 (识别 速度 、 识 别 正 确 率 )， 是 否 能 让 被 试 
获得 更 好 的 虚拟 现实 体验 (沉浸 感 、 存 在 感 )? 三 通道 条 件 下 ， 各 个 通道 如 何 整 合 完成 整体 粗 
ERRA, 各 通道 在 整体 感知 中 分 别 占 有 多 少 权 重 ? 这 些 问 题 有 待 进一步 的 探究 。 随 着 我 们 
在 这 一 研究 领域 内 的 不 断 探 索 ， 在 未 来 ， 视 觉 、 上 听觉 信息 可 能 会 以 超出 常识 的 方式 ， 极 大 的 


丰富 人 们 在 虚拟 现实 环境 中 的 体验 (Collins & Kapralos, 2019). 
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The vivid tactile experience from vision and auditory: Clues from 


multisensory channel integration 


Wan Bicheng, Ma Shu, Yang Zheng, Li Hongting 
(Psychology Department, Zhejiang Sci-Tech University, Hangzhou 310018, China) 

Abstract: Virtual reality creates an immersive experience for users by providing visual, auditory, 
and tactile information. However, tactile feedback still faces many technical bottlenecks, which 
limit natural interaction in the virtual reality environment. Pseudo-haptic technology based on multi- 
sensory illusion can enhance and enrich tactile perception with the help of information from other 
channels, which is one of the effective ways to optimize tactile perception in the virtual reality 
environment. In order to explore the problem in a more targeted way, the study focuses on roughness 
perception among different dimensions of tactile perception. We discuss the multi-sensory channel 
integration of visual, auditory, and tactile in roughness perception, then analyze how the visual cues 
(density of surface texture, light and shadow, control display rate) and auditory cues 
(pitch/frequency, loudness) affect roughness perception, moreover, summarize the methods of 
changing roughness perception by manipulating these cues. Finally, we discuss the differences of 
visual, auditory, and tactile information between virtual reality environment and real-world in 
representation and perceptual integration when using pseudo-haptic feedback technology, proposing 
practical solutions and future research directions to improve the tactile experience. 


Key words: roughness perception, multi-sensory channel integration, visual cues, auditory cues 


